OneLatent: Latent Reasoning for Efficient Foundation Recommendation Models
OneLatent：面向高效基础推荐模型的潜在推理框架
🧭 生成式推荐 · Latent Reasoning ★ 深度解读
Kuaishou Technology
用可学习潜在 token 压缩显式 CoT 推理，实现 Latent-Reason-then-Answer，精度与吞吐双提升
📌 工作参考价值（4 点）
- 用固定数量的可学习 latent tokens 替代显式 rationale 生成：在用户上下文和目标 SID 之间插入 2-3 个 latent token，训练时用教师 CoT 对齐，推理时只解码目标 item，可将 LLM 推荐的吞吐提升 17 倍以上且精度不降；适合在需要低延迟的生成式召回或重排中落地。
- Multi-View Adaptive CoT 构造互补监督：设计意图探索、正样本评估、行为归因三个视角，并让教师根据用户行为复杂度自适应输出推理长度，相比单一模板能覆盖更多样兴趣且减少 35% 冗余；这套 CoT 数据构造思路可直接迁移到 query 推荐、广告文案生成等场景。
- 三阶段对齐 + 课程后训练：先 rationale 对齐，再 SID 对齐，最后混合 latent/standard SFT 1:1，能同时保留直接生成和 latent 推理两种模式，避免显式 CoT 训练损害通用能力；适合渐进式上线 LLM 推荐。
- 生产推理架构：行为触发异步刷新、价值感知调度、结果缓存 Redis，将大模型推理移出在线请求路径，只在候选融合时消费缓存结果；这是把 LLM 推荐落地到高 QPS 电商/广告场景的可行工程范式，可直接参考。